[新機能プレビュー] Amazon Q in QuickSight Scenarios で既存のシナリオにデータをダッシュボードで追加してみた

コーヒーが好きな emi です。

以下ブログで現在パブリックプレビュー中の Amazon Q in QuickSight Scenarios で新規シナリオの作成をやってみました。
https://dev.classmethod.jp/articles/new-feature-preview-q-in-quicksight-scenarios-csv/

シナリオで使用するデータはいくつか追加でアップロードできます。アップロードできるファイルの形式や数などのクオータについては アップロードするファイルの注意 を参照ください。

今回は既存のデータファイルに追加で作成済みのダッシュボードを追加し、複数のデータを合わせた推論ができるか試してみました。

先に結果

直接 CSV ファイルをアップロードしたデータと、ダッシュボードから取り込んだデータを合わせて推論が可能でした。
データを組み合わせた分析を行わせる場合は内部的にデータを結合するため、プライマリキーの型を一致させる必要があります。

構成図と既存のシナリオ

アップロード済みの「sweets_with_status.csv」と「instant_food.csv」でシナリオを作成済みです。
S3 バケットに格納した CSV ファイルを Athena 経由で直接クエリしダッシュボードを作成します。このダッシュボードを既存シナリオに読み込みます。

既存シナリオの詳細は [新機能プレビュー] Amazon Q in QuickSight Scenarios で既存のシナリオにデータをアップロードで追加してみた | DevelopersIO を参照ください。

ダッシュボードを作成する

S3 のデータを Athena でクエリする

S3 バケットに CSV ファイル「sweets_with_status2.csv」をアップロードしておきます。

Athena で S3 の CSV ファイルのテーブルを作成します。今回は簡単なダッシュボードができれば良いので パーティション射影（Partition Projection） などは行っていません。

CREATE EXTERNAL TABLE IF NOT EXISTS `default`.`sweets_with_status2` (
  `datetime` timestamp,
  `department` string,
  `section` string,
  `scone` int
)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ',' 
STORED AS TEXTFILE
LOCATION 's3://qs-athena-test-csv-virginia-emikitani/sweets_with_status2/'
TBLPROPERTIES ('skip.header.line.count'='1')

テーブルができたら S3 のデータが表示できるか試します。

SELECT * FROM "default"."sweets_with_status2" limit 10;

見えました。

QuickSight でダッシュボードを作成する

QuickSight 側でダッシュボードを作成する前に、S3 バケットへのアクセスを許可しておきます。

「新しいデータセット」から Athena データセットを作成します。

作成済みの Athena テーブルにチェックされていることを確認しデータをプレビューします。

データが見えていますね。保存して視覚化をクリックし、分析を作成していきます。

課ごとのスコーンの在庫を折れ線グラフで視覚化しました。公開してダッシュボードを作成します。

名前を付けて公開します。Q in QuickSight の Data Story と Exective Summary を有効にするか否かのチェックは今回つけてもつけなくても良いです。デフォルトでチェックされているのでそのまま今回は進めました。

ダッシュボードができました。これを、シナリオに追加で取り込んでいきます。

シナリオにダッシュボードを追加する

既存のシナリオを開き、データタブから「FIND DATA」をクリックします。

作成したダッシュボードが表示されるので、チェックを入れて「適用」をクリックします。

すると、選択したのは折れ線グラフのダッシュボードをでしたが、テーブル形式のデータが表示されました。
フィルタなどの操作もできそうです。
「FieldsIcon」と書かれているマークをクリックすると、カラム名が表示されました。

部署（department）が表示されていないようだったので、クリックして表示させました。
「ADD DATA」でデータを追加します。

10 秒待たないくらいでデータを追加できました。

部署（department）名、課（section）名の場所が気に入らなかったので並べ替えておきます。

並べ替えました。良い感じです。

追加したデータと既存のデータ両方に関連するプロンプトを入力する

ではシナリオ側でプロンプトを入力します。
「What is the relationship between coffee inventory and scone inventory?（コーヒーの在庫とスコーンの在庫の関係は？）」
と入力しました。

2 分ほどで推論が完了しました。

▼現在のデータではタイムスタンプや部門が異なると言われてしまいました。

Step 1: Let's start by looking at the data we have available for coffee and scone inventory to see if we can analyze their relationship.
To analyze the relationship between coffee and scone inventory, we need to merge the datasets based on common columns (datetime, department, section). However, the current data samples show different timestamps and departments, making it challenging to establish a direct relationship. More comprehensive data or a specific time range for analysis would be helpful. You can try editing the block through popover.
（機械翻訳）ステップ 1: まず、コーヒーとスコーンの在庫データから、その関係を分析しましょう。コーヒーとスコーンの在庫の関係を分析するには、共通の列（日時、部門、セクション）に基づいてデータセットをマージする必要があります。しかし、現在のデータサンプルでは、タイムスタンプや部門が異なるため、直接的な関係を確立するのは困難である。より包括的なデータ、または特定の時間範囲を分析できると便利です。ポップオーバーからブロックを編集してみてください。

datetime の型を調整する

「instant_food.csv」の datetime 形式と「sweets_with_status2 dashboard」の datetime 形式は同じように見えます。部署や課も同じです。違うのはスコーンの個数が入っていることだけ…何が違うのでしょう？

実は Athena テーブル作成の際に心当たりがありました。CSVファイルでは datetime の形式を「2024-10-16 17:00:00.000」などとしていたのですが、テーブル作成で型を date にすると時間が潰れて日付だけになってしまったのです。

なので、今回は Athena テーブル作成時 datetime の型は timestamp 型としていました。

シナリオ側で設定できる時間の型は「Date」だけみたいです。なのでシナリオ側で見ると datetime は Date 型に見えます。
一旦、datetime を string 型に変更し、その後また date 型に戻すという操作を行ってみました。見た目は変わらないのですが。

推論を再試行

再度シナリオに戻り、先ほどのブロックを Modify block で編集します。プロンプトは先ほどと同じ
「What is the relationship between coffee inventory and scone inventory?（コーヒーの在庫とスコーンの在庫の関係は？）」
と入力しました。

2 分ほどで推論が終わりました。

Step 1: Combine the coffee and scone inventory data into a single dataset for analysis.
The merged data shows that instant coffee and scone inventories appear to be identical for each department and section at the given timestamps. This unusual pattern might require further investigation or confirmation of data accuracy.
（機械翻訳）ステップ 1：コーヒーとスコーンの在庫データを 1 つのデータセットに統合し、分析する。統合されたデータから、インスタント・コーヒーとスコーンの在庫は、指定されたタイムスタ ンプにおいて、各部門とセクションで同一であることがわかる。このような異常なパターンは、さらなる調査やデータの正確性の確認が必要かもしれない。

今度はデータを統合できたみたいです。
コーヒーとスコーンの在庫数は同一になっており、意図したデータかどうか確認が求められました。

今回のデータは私が修正した際に少ししか変更しませんでした。このためデータが一致し過ぎてしまっているのは私のせいです。

▼スコーンの数

▼コーヒーの数

一応一部数字を変えているので、このままプロンプトを続けてみましょう。

「The similarity between coffee inventory and scone inventory is intentional. What is the relationship over time?（コーヒーの在庫とスコーンの在庫が似ているのは意図的です。時間経過の関係はどうですか？）」

と入力して次のブロックを作成します。

推論中…

3 分ほど待ちました。長いブロックになりましたね。

結果を見ていきます。

▼ Step1 ではスコーンとコーヒーの在庫の時間遷移を図示し、強い相関があることを述べています。

Step 1: We'll create a graph showing how coffee and scone inventory levels change over time. This will help us visualize their relationship and any patterns that might exist.
The correlation between coffee and scone inventory levels is extremely high at 0.996, indicating a very strong positive relationship between the two inventories over time.
（機械翻訳）ステップ1：コーヒーとスコーンの在庫レベルが時間とともにどのように変化するかを示すグラフを作成する。これにより、両者の関係や存在する可能性のあるパターンを視覚化することができる。コーヒーとスコーンの在庫レベルの相関は0.996と非常に高く、この2つの在庫の間には経時的に非常に強い正の関係があることを示している。

▼ Step2 でも同じようなことをしているみたいです。「rolling correlation」は「ローリング相関」という統計手法らしいです。

Step 2: We'll examine how the relationship between coffee and scone inventories changes over different time periods. This will help us understand if the strong correlation we observed is consistent or if it varies at certain times.
The analysis shows a consistently high rolling correlation of 0.996 between coffee and scone inventories over the observed time period, indicating a very stable and strong relationship between the two inventories.
（機械翻訳）ステップ2：コーヒーとスコーン在庫の関係が、異なる期間にわたってどのように変化するかを調べる。これにより、今回観察された強い相関関係が一貫しているのか、それともある時期によって変化するのか を理解することができる。分析の結果、コーヒー在庫とスコーン在庫の間には、観察された期間を通じて一貫して 0.996 という高い相関関係が見られ、2 つの在庫の間には非常に安定した強い関係があることがわかった。

▼ Step3 ではスコーンとコーヒーの相関を部門ごとに分析して示しています。

Step 3: We'll examine how the relationship between coffee and scone inventories varies across different departments and sections of the company. We'll also check if changes in one inventory tend to happen before changes in the other. This will give us a more detailed understanding of the inventory relationship throughout the company.
Still analyzing... Hang tight...
The analysis reveals strong positive correlations between coffee and scone inventories across all departments (mean correlation: 0.96) and sections (mean correlation: 0.95). The lag analysis shows perfect correlations (1.0) for 1-hour lags in most cases, suggesting a very tight, synchronous relationship between coffee and scone inventories throughout the company.
（機械翻訳）ステップ3：コーヒーとスコーンの在庫の関係が、社内のさまざまな部署やセクションでどのように異なるかを調べます。また、一方の在庫の変動が他方の在庫の変動より先に起こる傾向があるかどうかを確認する。こうすることで、会社全体の在庫関係をより詳細に理解することができる。まだ分析中...
分析の結果、すべての部門（平均相関：0.96）とセクション（平均相関：0.95）において、コーヒーとスコーン在庫の間に強い正の相関関係があることが明らかになった。ラグ分析では、ほとんどのケースで1時間のラグで完全な相関（1.0）を示しており、会社全体でコーヒーとスコーン在庫の間に非常に緊密な同期関係があることを示唆している。

▼ Step4 では調査結果を示し、最後に事業運営への影響としてまとめてくれました。

Step 4: We'll provide a comprehensive summary of all our findings, explaining what we've learned about how coffee and scone inventories relate to each other over time and in different parts of the company. This will include our observations on the overall relationship, how stable it is, any differences we found between departments or sections, and whether changes in one inventory tend to precede changes in the other. We'll also discuss what these findings might mean for the company's inventory management or operations.
（機械翻訳）ステップ4：すべての調査結果を包括的にまとめ、コーヒーとスコーンの在庫が、時間の経過とともに、また社内のさまざまな場所でどのように関係し合っているかについて、わかったことを説明する。これには、全体的な関係性、その安定性、部門間や部署間で見られた違い、一方の在庫の変化が他方の在庫の変化に先行する傾向があるかどうかなどについての見解が含まれる。また、これらの発見が会社の在庫管理やオペレーションにとってどのような意味を持つかについても議論する。

終わりに

直接 CSV ファイルをアップロードしたデータと、ダッシュボードから取り込んだデータ（直接クエリ）を合わせて推論が可能でした。
データを組み合わせた分析を行わせる場合は内部的にデータを結合するため、プライマリキーの型を一致させる必要があります。
今回のような時間単位のデータだと Date 型の扱いは内部的にどうなるのか気になりましたが、様々なデータをシナリオに統合して推論できるのは良いですね。

ちなみに、この検証が終わった後シナリオを削除してみたのですが、「削除しますか？」などの問いかけはなくスンッとすぐに消えてしまったので、削除する際は注意してください。